Kilmer đã kết hôn với nữ diễn viên Joanne Whalley từ tháng 3 năm 1988 đến tháng 2 năm 1996. Hai người gặp nhau trong khi làm việc cùng nhau trên phim Willow. Cặp đôi này có hai con: một con gái, Mercedes (sinh ngày 29 tháng 10 năm 1991), và một đứa con trai, Jack (sinh ngày 6 tháng 6 năm 1995).

Vấn đề sức khoẻ

Tờ The Hollywood Reporter đã nói rằng ông có một "trận chiến hai năm với bệnh ung thư vòm họng và một phương cách trên khí quản của ông đã giảm giọng nói của mình thành một tiếng rít và khiến ông bị hụt hơi."